Dato Jaafar mementingkan pelajaran terutama pendidikan Barat, agama Islam dan kebudayaan Melayu. Beliau menetap di istana Bukit Senyum yang terletak berhadapan dengan Selat Johor/Selat Tebrau. Anak-anaknya dimestikan membaca Hikayat dan Syair, sastera dan puisi Inggeris disamping mengaji al Quran, makanan dan pakaian Melayu. Sejak 1991, rumah itu mempunyai tutor iaitu seorang perempuan Inggeris dari Singapura bernama Nanny. Guru tersebut dijemput dengan kuda dari Woodlands dan menyeberang Selat Johor dengan feri dan menaiki beca ke Bukit Senyum.Seorang mualim/guru buta bernama Sheikh Salimi mengajar agama Islam. Kemudian Cikgu Sharifah Enson dari Johor Bahru mengajar tulisan Jawi dan membaca al Quran.

Anak-anaknya diajar alat muzik seperti violin, gambus dan tabla serta maruas iaitu sejenis gendang kecil. Mereka membentuk kumpulan Ghazal dan membuat persembahan di sekitat Johor Bahru.Seorang tukang masak dari Turki memperkenalkan masakan Timur Tengah seperti 'harisa'. Tukang masak India, Thambi Shah memperkenalkan nasih beriyani kepadBritish yang berkhidmat di Johor diwajibkan memakai pakaian rasmi kerajaan Johor. Bendera Union Jack, iaitu bendera kerajaan British, haruslah dikibarkan lebih rendah daripada bendera negeri Johor. Di samping itu, semua surat-menyurat mestilah ditulis dalam Bahasa Melayu.

Pada 1904, Jaafar diarahkan oleh Sultan Johor menjadi Pemangku raja dan meraikan Putera Arthur (of Connaught) ke Tanah Melayu. Pada 1889, Duke Sutherland mengadap Sultan Johor dan perbualan itu dirakamkan oleh Florence Caddy.